深度操作员的学习已成为减少订购建模和PDE模型发现的有前途的工具。利用深层神经网络的表达能力,尤其是在高维度中,这种方法了解功能状态变量之间的映射。虽然提出的方法仅在因变量中才假设噪声,但用于操作员学习的实验和数值数据也通常在自变量中显示出噪声,因为两个变量都代表了符合测量误差的信号。在标量数据的回归中,未能解释嘈杂的自变量会导致偏差参数估计值。使用嘈杂的自变量,通过普通最小二乘(OLS)拟合的线性模型将显示衰减偏置,其中斜率将被低估。在这项工作中,我们得出了在独立变量和因变量中都具有白噪声的线性操作器回归的衰减偏差的类似物。在非线性环境中,我们在计算上证明了在自变量中存在噪声的情况下,汉堡操作员的作用不足。我们提出了两种操作员回归方法,mor-physics和deponet的变异错误模型(EIV)模型,并证明这些新模型在存在各种操作员学习问题的嘈杂自变量的情况下减少了偏见。考虑到1D和2D的汉堡操作员,我们证明了EIV操作员的学习能够在击败OLS操作员学习的高噪声政权中恢复运营商。我们还引入了一个EIV模型,以进行时间不断发展的PDE发现,并表明OLS和EIV在学习库拉莫托 - 西瓦辛斯基进化运算符中从损坏的数据中进行了类似的表现,这表明偏见在OLS操作员学习中的影响取决于目标操作员的规律性。
translated by 谷歌翻译
A recent trend in deep learning research features the application of graph neural networks for mesh-based continuum mechanics simulations. Most of these frameworks operate on graphs in which each edge connects two nodes. Inspired by the data connectivity in the finite element method, we connect the nodes by elements rather than edges, effectively forming a hypergraph. We implement a message-passing network on such a node-element hypergraph and explore the capability of the network for the modeling of fluid flow. The network is tested on two common benchmark problems, namely the fluid flow around a circular cylinder and airfoil configurations. The results show that such a message-passing network defined on the node-element hypergraph is able to generate more stable and accurate temporal roll-out predictions compared to the baseline generalized message-passing network defined on a normal graph. Along with adjustments in activation function and training loss, we expect this work to set a new strong baseline for future explorations of mesh-based fluid simulations with graph neural networks.
translated by 谷歌翻译
Data augmentation is a valuable tool for the design of deep learning systems to overcome data limitations and stabilize the training process. Especially in the medical domain, where the collection of large-scale data sets is challenging and expensive due to limited access to patient data, relevant environments, as well as strict regulations, community-curated large-scale public datasets, pretrained models, and advanced data augmentation methods are the main factors for developing reliable systems to improve patient care. However, for the development of medical acoustic sensing systems, an emerging field of research, the community lacks large-scale publicly available data sets and pretrained models. To address the problem of limited data, we propose a conditional generative adversarial neural network-based augmentation method which is able to synthesize mel spectrograms from a learned data distribution of a source data set. In contrast to previously proposed fully convolutional models, the proposed model implements residual Squeeze and Excitation modules in the generator architecture. We show that our method outperforms all classical audio augmentation techniques and previously published generative methods in terms of generated sample quality and a performance improvement of 2.84% of Macro F1-Score for a classifier trained on the augmented data set, an enhancement of $1.14\%$ in relation to previous work. By analyzing the correlation of intermediate feature spaces, we show that the residual Squeeze and Excitation modules help the model to reduce redundancy in the latent features. Therefore, the proposed model advances the state-of-the-art in the augmentation of clinical audio data and improves the data bottleneck for the design of clinical acoustic sensing systems.
translated by 谷歌翻译
深度神经网络在人类分析中已经普遍存在,增强了应用的性能,例如生物识别识别,动作识别以及人重新识别。但是,此类网络的性能通过可用的培训数据缩放。在人类分析中,对大规模数据集的需求构成了严重的挑战,因为数据收集乏味,廉价,昂贵,并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成,作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法,在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查,总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后,我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。
translated by 谷歌翻译
在本文中,我们提出了一种深度学习技术,用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络(AB-CRAN)。为了构建波传播数据的低维表示,我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型,用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架,用于波传播的低维学习。为了证明AB-Cran模型的有效性,我们考虑了三个基准问题,即一维线性对流,非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集,可以准确捕获波幅度,并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比,基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差,并提高了参数空间中的概括能力。
translated by 谷歌翻译
深入学习模型遭受较旧阶段中课程的灾难性遗忘,因为它们在类增量学习设置中新阶段所引入的课程中受过培训。在这项工作中,我们表明灾难性忘记对模型预测的影响随着相同图像的方向的变化而变化,这是一种新的发现。基于此,我们提出了一种新的数据集合方法,该方法结合了图像的不同取向的预测,以帮助模型保留关于先前所见的类别的进一步信息,从而减少忘记模型预测的效果。但是,如果使用传统技术训练,我们无法直接使用数据集合方法。因此,我们还提出了一种新的双重增量学习框架,涉及共同培训网络,其中包括两个增量学习目标,即类渐进式学习目标以及我们提出的数据增量学习目标。在双增量学习框架中,每个图像属于两个类,即图像类(用于类增量学习)和方向类(用于数据增量学习)。在Class-Incremental学习中,每个新阶段都会引入一组新的类,并且模型无法从较旧阶段访问完整的培训数据。在我们提出的数据增量学习中,方向类在所有阶段保持相同,并且在类 - 增量学习中的新阶段引入的数据充当了这些方向类的新培训数据。我们经验证明双增量学习框架对数据集合方法至关重要。我们将拟议的课程逐步增量学习方法应用拟议方法,并经验表明我们的框架显着提高了这些方法的性能。
translated by 谷歌翻译
与社会辅助性机器人纵向相互作用的研究是确保机器人相关的长期使用和它的看法是不容易的新奇效果的关键。在本文中,我们提出了一个动态贝叶斯网络(DBN)来捕捉纵向互动与会者与远程操作机器人教练(RC)提供正念会话。该DBN模型用于研究复杂,时间参与者自我报告的人格特质之间每周基线福利得分会话评级在5周的纵向研究会议期间引起的面部AU的相互作用,以及。 DBN建模涉及学习促进的多个组件如何有助于会议评级对应RC的看法纵向变化直观的了解,和参与者放松和平静水平的图形表示。该学习模型捕获内和纵向互动学习的会议方面的以下内容:对面部AU状态和会话评级5个人格维度的影响,面部AU的影响对会话等级状态,和项内的影响会议评级。该DBN结构了解使用第一3个时间点和所获得的模型被用于预测的5周的纵向数据的最后2个时间点的会话收视率。该预测是使用了被摄体明智RMSE和R2分数量化。我们也证明了该模型的两个应用程序,即缺少数据集中和新的参与者的纵向会议的收视率估计与给定的个性特征值的估算。由此所获得的DBN模型有利于在纵向数据,并提供推论和概念的理解,其是不可能通过其它回归方法变量之间的条件依赖结构的学习。
translated by 谷歌翻译